Learning the Cost of Reliable Inference
学习可靠推理成本：LLM采购路由机制
🧭 LLM 采购路由 · 拍卖机制设计
Max Planck Institute for Software Systems
设计基于反向第二价格拍卖的LLM路由平台，在保证质量阈值下动态选择成本最优供应商，节省10%-71%成本
📌 工作参考价值（4 点）
- 在电商/广告多模型路由中，可借鉴“质量阈值+成本竞标”框架：平台先定义业务质量指标（如转化率、准确率），各模型/供应商按成本投标，路由时只选满足阈值且报价最低的，避免固定价格浪费。
- 反向第二价格拍卖的激励相容设计可迁移到内部多模型/多服务核算：让各团队或供应商按真实边际成本报价，平台按次低价结算，能诱导真实成本暴露，优化全局预算分配。
- 实验结果（价差10-71%）说明按任务动态选择比固定定价省大量成本，可在推理网关/Agent工具调用中维护模型质量估计与成本表，实时切换。
- 注意：平台需在线学习质量，可采用Bandit或贝叶斯更新，将质量不确定性与成本竞标结合，不能仅靠一次性评估。